Positive-Unlabeled (PU) learning aims to learn a model with rare positive samples and abundant unlabeled samples. Compared with classical binary classification, the task of PU learning is much more challenging due to the existence of many incompletely-annotated data instances. Since only part of the most confident positive samples are available and evidence is not enough to categorize the rest samples, many of these unlabeled data may also be the positive samples. Research on this topic is particularly useful and essential to many real-world tasks which demand very expensive labelling cost. For example, the recognition tasks in disease diagnosis, recommendation system and satellite image recognition may only have few positive samples that can be annotated by the experts. These methods mainly omit the intrinsic hardness of some unlabeled data, which can result in sub-optimal performance as a consequence of fitting the easy noisy data and not sufficiently utilizing the hard data. In this paper, we focus on improving the commonly-used nnPU with a novel training pipeline. We highlight the intrinsic difference of hardness of samples in the dataset and the proper learning strategies for easy and hard data. By considering this fact, we propose first splitting the unlabeled dataset with an early-stop strategy. The samples that have inconsistent predictions between the temporary and base model are considered as hard samples. Then the model utilizes a noise-tolerant Jensen-Shannon divergence loss for easy data; and a dual-source consistency regularization for hard data which includes a cross-consistency between student and base model for low-level features and self-consistency for high-level features and predictions, respectively.

随机梯度下降（SGD）是现代机器学习（ML）系统的基石。尽管具有其计算效率，但SGD仍需要随机数据访问，这些数据访问在依赖块可调地理的二级存储的系统中实现效率低下，例如HDD和SSD，例如TensorFlow/Pytorch和DB ML系统，而不是大文件。为了解决这种阻抗不匹配，已经提出了各种数据改组策略，以平衡SGD的收敛速率（有利于随机性）及其I/O性能（有利于顺序访问）。在本文中，我们首先对现有数据改组策略进行系统的实证研究，该研究表明，所有现有策略都有改进的空间 - 它们都在I/O性能或融合率方面受苦。考虑到这一点，我们提出了一种简单但新颖的分层数据改组策略Corgipile。与现有的策略相比，Corgipile避免了完整的数据洗牌，同时保持SGD的可比收敛速度，就好像执行了完整的混音一样。我们对Corgipile的融合行为提供了非平凡的理论分析。我们通过在新的CorgipileDataSet API中设计新的平行/分布式洗牌操作员来进一步将Corgipile整合到Pytorch中。我们还通过介绍具有优化的三个新的物理运营商，将Corgipile集成到PostgreSQL中。我们的实验结果表明，Corgipile可以与全面的SGD达到可比的收敛速率，以实现深度学习和广义线性模型。对于ImageNet数据集的深度学习模型，Corgipile比带有完整数据洗牌的Pytorch快1.5倍。对于具有线性模型的INDB ML，在HDD和SSD上，Corgipile的Corgipile比两个最先进的IN-DB ML系统（Apache Madlib和Bismarck）快1.6 x-12.8倍。

在本文中，我们研究了非交互性局部差异隐私（NLDP）模型中估计平滑普遍线性模型（GLM）的问题。与其经典设置不同，我们的模型允许服务器访问一些其他公共但未标记的数据。在本文的第一部分中，我们专注于GLM。具体而言，我们首先考虑每个数据记录均为I.I.D.的情况。从零均值的多元高斯分布中取样。由Stein的引理动机，我们提出了GLMS的$（Epsilon，\ delta）$ -NLDP算法。此外，算法的公共数据和私人数据的示例复杂性以实现$ \ alpha $的$ \ ell_2 $ -norm估计错误（具有高概率）为$ {o}（p \ alpha^{ - 2}）$和$ \ tilde {o}（p^3 \ alpha^{ - 2} \ epsilon^{ - 2}）$，其中$ p $是特征向量的维度。这是对$ \ alpha^{ - 1} $中先前已知的指数或准过程的重大改进，或者在$ p $中的指数smack sample sample smack glms的复杂性，没有公共数据。然后，我们考虑一个更通用的设置，每个数据记录为I.I.D.从某些次高斯分布中取样，有限制的$ \ ell_1 $ -norm。基于Stein的引理的变体，我们提出了一个$（\ epsilon，\ delta）$ - NLDP算法，用于GLMS的公共和私人数据的样本复杂性，以实现$ \ ell_ \ elfty $ - infty $ -NOMM估计的$ \ alpha误差$是$ is $ {o}（p^2 \ alpha^{ - 2}）$和$ \ tilde {o}（p^2 \ alpha^{ - 2} \ epsilon^{ - 2}）$，温和的假设，如果$ \ alpha $不太小（{\ em i.e.，} $ \ alpha \ geq \ omega（\ frac {1} {\ sqrt {p}}}）$）。在本文的第二部分中，我们将我们的想法扩展到估计非线性回归的问题，并显示出与多元高斯和次高斯案例的GLMS相似的结果。最后，我们通过对合成和现实世界数据集的实验来证明算法的有效性。

Image-based head swapping task aims to stitch a source head to another source body flawlessly. This seldom-studied task faces two major challenges: 1) Preserving the head and body from various sources while generating a seamless transition region. 2) No paired head swapping dataset and benchmark so far. In this paper, we propose an image-based head swapping framework (HS-Diffusion) which consists of a semantic-guided latent diffusion model (SG-LDM) and a semantic layout generator. We blend the semantic layouts of source head and source body, and then inpaint the transition region by the semantic layout generator, achieving a coarse-grained head swapping. SG-LDM can further implement fine-grained head swapping with the blended layout as condition by a progressive fusion process, while preserving source head and source body with high-quality reconstruction. To this end, we design a head-cover augmentation strategy for training and a neck alignment trick for geometric realism. Importantly, we construct a new image-based head swapping benchmark and propose two tailor-designed metrics (Mask-FID and Focal-FID). Extensive experiments demonstrate the superiority of our framework. The code will be available: https://github.com/qinghew/HS-Diffusion.

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

场景图是一种语义表示，表达场景中对象之间的对象，属性和关系。场景图在许多交叉模态任务中起着重要作用，因为它们能够捕获图像和文本之间的交互。在本文中，我们关注场景图修改（SGM），其中需要系统来学习如何基于自然语言查询更新现有场景图。与以前重建整个场景图的方法不同，我们通过引入增量结构扩展（ISE）来将SGM作为图形扩展任务。 ISE通过逐步扩展源图来构建目标图，而无需更改未修改的结构。基于ISE，我们进一步提出了一个模型，该模型在节点预测和边缘预测之间进行迭代，从而逐渐推断出更准确和和谐的扩展决策。此外，我们构建了一个具有挑战性的数据集，该数据集包含比现有数据集更复杂的查询和更大的场景图。四个基准测试的实验证明了我们的方法的有效性，该实验超过了以前的最新模型。

作为第一个会话级的中文数据集，Chase包含两个单独的部分，即从Scratch（Chase-C）手动构建的2,003个会话，以及从英语SPARC（Chase-T）翻译的3,456个会话。我们发现这两个部分是高度差异，并且作为培训和评估数据不兼容。在这项工作中，我们介绍了SESQL，这是中文的另一个大规模会话级文本到SQL数据集，由5,028个会话组成，所有课程都是从Scratch手动构建的。为了保证数据质量，我们采用迭代注释工作流程，以促进对先前的自然语言（NL）问题和SQL查询的紧张和及时审查。此外，通过完成所有与上下文有关的NL问题，我们获得了27,012个独立的问题/SQL对，允许SESQL用作单轮多DB文本到SQL解析的最大数据集。我们通过使用三个竞争性会话级解析器，并提供详细的分析，对SESQL进行基准测试级文本到SQL解析实验。

对新数据库的普遍性对于旨在将人类话语解析为SQL语句的文本到SQL系统至关重要。现有作品通过利用确切的匹配方法来确定问题单词和模式项目之间的词汇匹配来实现这一目标。但是，这些方法在其他具有挑战性的场景中失败，例如，表面形式在相应的问题单词和架构项目之间有所不同的同义词替代。在本文中，我们提出了一个名为ISESL-SQL的框架，以迭代地构建问题令牌和数据库模式之间的语义增强的架构链接图。首先，我们以无监督的方式通过探测过程提取PLM的模式链接图。然后，通过深图学习方法在训练过程中进一步优化了模式链接图。同时，我们还设计了一个称为图形正则化的辅助任务，以改善模式链接图中提到的模式信息。对三个基准测试的广泛实验表明，ISESL-SQL可以始终优于基准，进一步的研究表明其普遍性和鲁棒性。

尽管预训练的语言模型（LMS）在许多NLP任务中都取得了重大改进，但人们越来越关注探索LMS的能力并解释其预测。但是，现有作品通常仅着眼于某些下游任务的特定功能。缺乏直接评估蒙版单词预测性能和预训练LMS的解释性的数据集。为了填补空白，我们提出了一个新颖的评估基准，以提供英语和中文注释的数据。它在多个维度（即语法，语义，知识，推理和计算）中测试LMS能力。此外，它提供了满足足够和紧凑性的仔细注释的令牌级别的理由。它包含每个原始实例的扰动实例，以便将扰动下的基本原理一致性用作忠实的指标，即解释性的观点。我们在几个广泛使用的预训练的LMS上进行实验。结果表明，他们在知识和计算的维度上表现较差。而且它们在所有维度上的合理性远非令人满意，尤其是当理由缩短时。此外，我们评估的预训练的LMS在语法感知数据上并不强大。我们将以\ url {http：// xyz}发布此评估基准，并希望它可以促进预训练的LMS的研究进度。

越来越多的文献证明了使用射频（RF）信号在遮挡和照明不良的情况下实现关键的计算机视觉任务的可行性。它利用RF信号遍历墙壁和遮挡，以使壁姿势估计，动作识别，场景字幕和人类重新识别。但是，与可以由人工工人标记的RGB数据集不同，标记RF信号是一项艰巨的任务，因为这些信号不是人类的可解释。但是，收集未标记的RF信号非常容易。使用此类未标记的RF数据以无监督的方式学习有用的表示形式将是非常有益的。因此，在本文中，我们探讨了调整基于RGB的无监督表示为RF信号的可行性。我们表明，尽管对比度学习已成为无监督的表示从图像和视频学习的主要技术，但当使用RF信号应用于感知人类时，这种方法的性能较差。相反，预测性无监督学习方法学习可用于多个基于RF的传感任务的高质量表示。我们的经验结果表明，这种方法的表现优于基于RF的最先进的人类对各种任务的感知，从而开放了从这种新颖方式中学习的可能性。